テレビジョン画像の内容の修正方法

专利摘要:
テレビジョン画像（７）中の対象領域（１１）の内容を修正する方法であって、カメラ（１）を用いて元の画像信号（ＰＧＭ１）を生成するステップと、テレビジョン画像中にグラフィックス（９）を加えることにより、元の画像信号を処理するステップと、テレビジョン画像中の対象領域を決定するステップと、処理済みの画像信号（ＰＧＭ２）および対象領域の決定データをさらに送信するステップと、信号送信チェーンの後段のステージ（１４）において、対象領域の決定データに従って、置換内容（１５ａ，１５ｂ）を対象領域に挿入するステップとを備える。本発明によれば、予め設定されたグラフィックスのカバレッジ比率に従い、グラフィックス（９）がテレビジョン画像（７）に加えられるとともに、追加されたグラフィックスにより覆われない残余のカバレッジ比率に従い、対象領域と追加的なグラフィックス領域の共有領域（１３）に、置換内容（１５ａ，１５ｂ）が挿入される。
公开号:JP2011507377A
申请号:JP2010537477
申请日:2007-12-13
公开日:2011-03-03
发明作者:ランタライネン，エルキ
申请人:スッポノル オイ；
IPC主号:H04N5-272

专利说明:

[0001] 本発明は、テレビジョン画像の特定領域に追加的なグラフィックスおよび置換内容を挿入することにより、テレビジョン画像の内容を修正することに関するものである。]
背景技術

[0002] テレビカメラによって撮影された視野から最初に生じるテレビジョン画像の内容が、その画像のある部分を新しい内容で置換することにより、修正されることが望まれる状況が数多く存在する。１つの代表的な例としては、スポーツイベントの現場における広告に関係がある。スポーツイベントのテレビジョン信号は、世界中に送信することができる。その後、しばしば、異なる観客グループまたは地理的領域に対して別々に、最終的なテレビジョン画像中に見られる広告を調整することが望まれる場合がある。]
[0003] テレビジョン画像中に置換内容を挿入するには、当然のことながら、画像中の修正される領域の位置に関する情報が必要とされる。この情報は、例えば、テレビジョン画像中で置換される対象の近傍内のマーキング面を使用することにより、生成することができ、マーキング面は、その面からの放射が、カメラにより撮影される領域からのその他の放射とは異なることに基づいて識別可能である。専用の検出器によりこの異なる放射を検知することによって、テレビジョン画像中の修正される対象の座標を決定することができる。修正される対象のこの種のマーキングについては、本出願人による先の特許出願ＷＯ０１／５８１４７においてより詳細に記載されている。修正される対象の座標が既知であるときは、例えば、国籍などの特定のグループ化の基準の使用により形成される異なる観客グループに対して、例えば、別々に修正対象を修正することが可能である。また、修正対象の座標に加えて、対象の一部を隠している障害物が存在するか否かを知ることも重要であり、それにより、修正対象の画像に見えるそれら領域のみに対して修正を行うことができる。この目的のために、国際公開ＷＯ０１／５８１４７は、対象領域の実際に画像に見える領域を判定するマスク画像を生成することについて開示している。]
[0004] 一旦、テレビジョン画像中で修正される対象の位置に関する必要情報が生成されると、この情報は、信号送信チェーンの後段のステージにおいてテレビジョン画像中の修正対象の修正を可能にするために、実際のテレビジョン信号とともに送信することができる。この手法においては、信号送信チェーンの初めに信号を前もって修正して、修正済の信号をすべてまとめて送信する場合よりも、信号送信容量を小さくする必要がある。この手法の原理は、本出願人による先の特許出願ＷＯ０３／０２１９５７に開示されている。]
[0005] グラフィックスは、処理済みのテレビジョン信号をさらに送信する前に、テレビジョン画像にしばしば加えられる。通常は、信号送信チェーンの非常に初期のステージで前もって加えられたグラフィックスを信号送信の後段のステージで修正することはない。これに対する解決策として、特許出願ＵＳ２００１／００１７６７１Ａ１には、先に追加されるグラフィックスを一切含まずに、修正される対象領域の部分のみに置換内容を挿入する方法が開示されている。グラフィックスが存在しない領域へのこの制限は、グラフィックス位置に関する情報の送信を必要とする。これについては、例えば、追加グラフィックスを有する画像信号とともに、元の未処理の画像信号も送信した後、それら信号を比較してグラフィックス位置を決定することにより行われると説明されている。これは、当然のことながら、プロセスを非実際的なものとするような多くのデータ伝送容量を必要とする。代替的方法として、グラフィックス位置を識別するデータのみを送信できることが説明されている。]
[0006] 幾つかの従来の方法により必要とされる高いデータ伝送容量に加えて、例えば、前述したＵＳ２００１／００１７６７１Ａ１に開示される従来の解決法で共通の課題の１つは、追加のグラフィックスがテレビジョン画像の元の内容とその位置において完全に置き換わる場合にそれら解決法が限定されるということである。しかしながら、多くの場合においては、追加グラフィックスを部分的に透明にするとともに、時には置換内容も部分的に透明にして、同じ位置で初期の内容も目に見える状態で維持することが望まれるであろう。]
発明が解決しようとする課題

[0007] 本発明の目的は、信号送信チェーンの初期のステージで加えられる望ましい外観のグラフィックスを最終的なテレビジョン画像において変化させずに保ちながら、画像信号伝送チェーンの後段のステージでテレビジョン画像のある部分に置換内容の挿入を可能にする方法を提供することにある。当該方法にあっては、必要とされるデータ伝送容量が可能な限り低いことが好ましい。]
課題を解決するための手段

[0008] 本発明は、請求項１において示されることを特徴とする。]
[0009] テレビジョン画像中の対象領域の内容を修正するための本発明に係る方法は、カメラを用いて元の画像信号を生成するステップと、前記画像中にグラフィックスを加えることにより、前記元の画像信号を処理するステップと、前記画像中の前記対象領域を決定するステップと、処理済みの画像信号および前記対象領域の決定データをさらに送信するステップと、信号送信チェーンの後段のステージにおいて、前記対象領域の決定データに従って、置換内容を前記対象領域に挿入するステップとを備える。]
[0010] 修正される対象領域は、カメラによってキャプチャーされる画像中に見られる、例えば、広告掲示板とすることができる。その修正は、例えば、異なる観客グループについて、観客に最終的に見られる画像中の広告板の領域の内容を別々に調節するステップを含むことができる。グラフィックスは、任意の追加的なグラフィカルな内容、例えば異なる種類の図形、文字などを含むことができる。テレビジョン画像中の対象領域、すなわちその形状と位置を決定する際に、例えば、国際公開ＷＯ０１／５８１４７に記載のマーキング面を使用することができる。また、国際公開ＷＯ０１／５８１４７の方法により、予定のマスク領域、すなわちテレビジョン画像において見ることのできない対象領域内の領域であって、よって置換内容を挿入すべきではない領域を判定することも可能である。画像中に幾つかの対象領域がある場合には、それぞれの識別に必要とされる情報が判定されて送信されることが必要とされる。その後、信号送信チェーンの後段のステージにおける画像中への前記置換内容の実際の挿入は、処理済みの画像信号とともに送信される対象領域の判定データに従って行なわれる。信号送信チェーンの後段のステージとは、処理済みの画像信号および対象領域の判定データの最初の送信後の任意のステージのことを意味する。例えば、世界的なテレビジョン信号の配給の場合には、置換内容の挿入は、各受信国で別々に行なうことができる。処理済みの画像信号および対象領域の判定データの生成と更なる送信は、同様に、例えば、元の画像信号が生成される場面で前もって行うことができる。]
[0011] 本発明によれば、予め設定されたグラフィックスのカバレッジ比率（または被覆率：percentage of coverage）に従って、前記グラフィックスが前記テレビジョン画像に加えられ、前記方法が、前記テレビジョン画像中の前記対象領域と追加的な前記グラフィックスの領域との共有領域を決定するステップと、前記処理済みの画像信号および前記対象領域の決定データとともに、共有領域の決定データおよび前記グラフィックスのカバレッジ比率に比例するデータをさらに送信するステップとをさらに備え、追加された前記グラフィックスにより覆われない残余のカバレッジ比率に従って、前記共有領域に、すなわち、前記対象領域と追加的な前記グラフィックスの共通部分に、前記置換内容が挿入される。]
[0012] ここでは、カバレッジ比率は、画像の各ポイントにおける追加的な内容の比率を意味する。換言すれば、カバレッジ比率は、各ピクセルまたは一群の隣接ピクセルにおける画像のどういう比率が追加のグラフィックスからなる（その残りが該当ピクセルにおける初期の内容からなる）のかを決定する。テレビジョン画像中の対象領域と追加的なグラフィックスとの共有領域は、追加のグラフィックスを含む対象領域内の領域である。共有領域の決定データおよびグラフィックスのカバレッジ比率に比例するデータの送信は、例えば、グラフィックスのカバレッジ比率を調整するときに使用される制御信号および元のグラフィックスを送信することによって、行うことができる。グラフィックスのカバレッジ比率に比例するデータは、例えば、グラフィックスにより覆われない残余の比率として示すことができる。追加されたグラフィックスにより覆われない残余のカバレッジ比率に従って共有領域に置換内容を挿入することは、グラフィックスのカバレッジ比率が維持されることを意味する。例えば、予め設定されたグラフィックスのカバレッジ比率が８０％である場合、２０％のカバレッジ比率が、共有領域の元の内容および置換内容により覆われる。また、置換内容の望ましいカバレッジ比率が１００％未満となる可能性もある。それは、追加されたグラフィックスにより覆われない共有領域における残余のカバレッジ比率が、元の画像の内容と置換内容の両方からなるものとされることを意味する。それには、処理済みの画像信号とともに元のグラフィックスを送信することが必要とされる。置換内容の望ましいカバレッジ比率は、送信ステージで前もって決定して、その他のデータとともにさらに送信することができる。]
[0013] 本発明の重要な特徴は、対象領域への置換内容の挿入後も予め設定されたグラフィックスのカバレッジ比率を維持しながら、修正される対象領域にも部分的に透明なグラフィックスを加えることが可能である点である。これは、フルカバレッジ（full coverage）による挿入、すなわち透明性を使用しない挿入に制限されていた従来の技術に対する大きな改善事項である。]
[0014] 本発明の好ましい実施形態では、必要なデータ伝送容量を減少させるために、グラフィックスが、予め設定されたグラフィックスのカバレッジ比率とは独立して、フルカバレッジで共有領域に加えられる。このように処理することによって、元のグラフィックスの送信が不要となる。これは、データ伝送容量の観点から見て明瞭な利点である。このように処理済みの画像の対象領域の内容を残余のカバレッジ比率に従って置換内容により置き換えることは、予め設定されたカバレッジ比率を有するグラフィックスを共有領域が含むような、結果画像を常にもたらし、残りのカバレッジが置換内容から構成される。]
[0015] 本発明の好ましい実施形態においては、対象領域の決定データ、共有領域の決定データおよびグラフィックスのカバレッジ比率に比例するデータが、補助画像信号で送信され、その画像内容がそれらデータに従って構成されている。換言すれば、画像内容は、対象領域と共有領域の幾何学形状および位置に従って構成されるとともに、グラフィックスのカバレッジ比率に関する情報も含んでいる。補助画像信号は、テレビジョン信号送信チェーンの信号処理システム内で処理するのが簡単で容易な形式のデータである。また、予定のマスク領域に関する情報は、好ましくは、意図した置換内容のカバレッジ比率による情報と同様に、補助画像信号を通じて伝送される。したがって、補助画像信号は、例えば、単色の画像を含むことができ、異なる領域おける明暗度（intensity）、すなわち対象領域、共有領域および予定のマスク領域における明暗度は、意図したカバレッジ比率に従って調整される。また、テレビジョン画像中の対象領域のコーナーまたはその他のいくつかの基準点の座標は、補助画像信号とともに送信されることが好ましい。後で行われる置換内容の挿入に必要とされる情報をすべて伝えるこの種の補助画像信号は、挿入自体を、高度に精巧なデータ処理システムを必要としない非常に単純な処理にする。当然のことながら、信号送信チェーンの後段のステージで、置換内容のカバレッジ比率を決定することも可能である。]
[0016] 必要なデータ伝送容量をさらに低下させるために、補助画像信号の画像領域が対象領域のみに制限されることが好ましい。この実施形態においては、テレビジョン画像内のこの種のサイズ制限された対象領域の位置に関する情報が、対象領域の選択点の画像座標として、補助画像信号を通じて送信される。]
図面の簡単な説明

[0017] 以下に、本発明の好ましい一実施形態を示す添付図面を用いて、本発明をより詳細に説明する。]
[0018] 図１は、元のテレビジョン画像を生成して、修正される画像中の対象領域の位置を判定する原理を示している。
図２は、ブロック図により、信号送信チェーンの送信側および受信側のそれぞれにおける実施形態のステップを示している。] 図１ 図２
実施例

[0019] 図１は、本発明の例示的な実施形態の開始点を示している。テレビカメラ１は、広告掲示板２を含む視野を撮影するもので、その内容は、最終的なテレビジョン画像において修正されることが望まれている。カメラと広告板との間には、人３が存在して、広告板の一部がカメラから見えなくなっている。カメラによってキャプチャーされた画像中の広告板の領域をマーキングするために、すなわち、テレビジョン画像中のその領域、すなわち修正される対象領域を判定するのに必要な情報を与えるために、広告板の全体領域に赤外線放射５を発する光源４が広告板の背後に存在する。（国際公開ＷＯ０１／５８１４７に記載されているように、当然のことながら、放射は、現場におけるその他の放射と十分に異なる任意の種類の放射とすることができる。）広告板は、この放射を広告板の正面に向きを変えるように配置されている。したがって、カメラの側からは、広告板領域が平面的な赤外線源として見える。広告板領域からの赤外線放射は、カメラに取り付けられた専用の検出器６によって検出される。検出器とカメラ画像の座標の関係が既知であるときは、検出器によってキャプチャーされたデータから、テレビジョン画像中の対象領域を判定することが可能である。また、広告板の一部を隠す人によって形成されるマスクを判定することが可能である。本実施形態においては、それらを組み合わせて、図２に示すマスク画像１０を形成し、その中の対象領域１１およびマスク領域１２の形状および寸法を決定する。幾何学情報に加えて、マスク画像の内容は、置換内容の意図したカバレッジ比率に関する情報も含み、それは、この場合には、マスク領域を除いて１００％であり、マスク領域については、当然のことながら、０％である。より詳細には、マスク画像は、この実施形態では、単色画像であり、その異なる領域の明暗度は、それらカバレッジ比率と比例するように選択されている。] 図１ 図２
[0020] 図２に示すように、カメラによりキャプチャーされて、元のテレビジョン信号ＰＧＭ１で信号送信チェーンの送信ステージ８に供給される元のテレビジョン画像７は、広告板２を含み、その一部が、元の現場でカメラと広告板との間に立たされている人３の背後で隠れている。また、送信ステージには、グラフィックス制御信号ＧＲＡＰＨ＿ＫＥＹも与えられる。図２の実施例では、このグラフィックス制御信号が、７０％のカバレッジ比率で画像領域の右側に加えられるグラフィックス９を決定する。また、このグラフィックス９も送信ステージに与えられる。送信ステージに与えられる第３の信号は、第１補助画像信号ＡＵＸ１であり、この信号は、上述したマスク画像１０を含んでいる。マスク画像の画像領域は、データ伝送容量を確保するために、対象領域のみに制限される。その後、当然のことながら、テレビジョン画像の画像領域における対象領域のコーナーまたはその他のいくつかの基準点の座標も、第１補助画像信号ＡＵＸ１を通じて伝送する必要がある。この実施例において、対象領域は、例えば、当該対象領域に対する置換内容として、２つの異なる広告の挿入を可能とするために、２のサブ領域１１ａ，１１ｂに分割される。また、サブ領域の識別情報も、第１補助画像信号ＡＵＸ１を通じて伝えられる。] 図２
[0021] 信号送信チェーンの送信ステージ８では、マスク画像１０、グラフィックス９およびグラフィックの制御信号ＧＲＡＰＨ＿ＫＥＹを組み合わせて、追加されたグラフィックス領域が対象領域１１と重なる共有領域１３を決定する。図２の実施形態においては、実際のグラフィックス制御信号に従って画像にグラフィックスを加えるときに、この共有領域において、グラフィックスは、グラフィックス制御信号ＧＲＡＰＨ＿ＫＥＹにより決定される比率から独立して、１００％のカバレッジ比率を有するように設定される。この共有領域の置換内容のための意図したカバレッジ比率は、グラフィックスのカバレッジ比率により覆われない残余の比率に従って設定される。この場合、それは、１００％×（１００％−７０％）＝３０％となる。] 図２
[0022] また、送信ステージ８の出力として、２つの信号がさらに送信され、その一方は、上記のように加えられた画像７中のグラフィックス９を含む処理テレビジョン信号ＰＧＭ２であり、他方は、第２補助画像信号ＡＵＸ２であり、その画像が、上記のように決定された残余のカバレッジ比率に従って共有領域１３の明暗度が調節される点において、第１補助画像信号の画像とは異なるものとなっている。その後、それら２つの信号は、観客にそれを見せる前に、テレビジョン画像の最終処理のために、信号送信チェーンの受信ステージ１４において受信される。上記処理においては、所望の置換内容１５ａ，１５ｂが、第２補助画像信号ＡＵＸ２を通じて伝えられた情報に従って、テレビジョン信号ＰＧＭ２の画像７内に挿入される。これは、マスク画像１０と対象領域の座標により決定される対象領域１１に置換内容が挿入されることを意味する。この場合、これは、対象領域の２つのサブ領域１１ａ，１１ｂに２つの別個のサブ内容１５ａ，１５ｂを挿入することを意味しており、サブ領域が、第２補助画像信号とともに送信される識別情報によって識別されるものとなっている。その挿入は、第２補助画像信号の画像の異なる領域の明暗度によって決定されるカバレッジ比率で行なわれる。共有領域１３およびマスク領域１２の外側の対象領域部分には、置換内容がフルカバレッジで加えられる。当然のことながら、置換内容はマスク領域１２に挿入されない。最後に、上述した共有領域の３０％のカバレッジ比率は、処理テレビジョン信号ＰＧＭ２内の追加されたグラフィックスにより完全に覆われた共有領域１３のために使用される。その結果、受信ステージ１４によって生成された第３のテレビジョン信号ＰＧＭ３のテレビジョン画像７の共有領域１３は、７０％のカバレッジ比率を有する追加グラフィックスと、３０％のカバレッジ比率を有する置換内容とにより構成される。これは、出力信号ＰＧＭ３中の最終テレビジョン画像の内容が、もし置換内容が元の現場の広告掲示板の場所にあれば、まさにそうであるかのようになることを意味する。]
[0023] 上述した異なるテレビジョン画像領域間の境界は、一方の領域から他方の領域に画像内容が変化する推移帯を利用することによって和らげることが好ましい。換言すれば、例えば、対象領域とその外部の画像領域との間の境界において、元の画像内容が、有限幅の推移帯内で、置換内容により置換されるように設定される。緩和の全く無い急激な変化は、非現実的な印象をもたらす可能性がある。推移帯の幅は、速く動いている目標物の方が、静止している目標物よりも広くなるように、テレビジョン画像中の目標物の動きに従って調節することが好ましい。]
[0024] 図２に示すプロセスおよび上述した説明は、単なる本発明の例示的な一実施形態に過ぎないことに留意されたい。実際の信号の種類および上記方法において必要な情報内容の提示方法は、請求項の範囲内で自由に変えることができる。本発明の原理は、アナログシステムにおいても、ディジタルシステムにおいても適用可能である。また、テレビジョン画像と同じ信号で、置換内容を後で挿入するための追加情報を伝送することも可能である。当業者に知られているように、幾つかのテレビジョン信号標準は、この目的に適した当初は空のデータブロックを決定する。さらに、本発明は、如何なる具体的な装置にも限定されるものではない。信号を処理する上記ステップはすべて、標準的なまたはアプリケーション特有の装置によって、あるいは、信号を少なくとも部分的に手動で調節することによって、自動的にコンピュータ制御することができる。] 図２
[0025] 図２のプロセスに対して可能な変更の１つは、第２補助信号ＡＵＸ２の代わりに、処理画像信号ＰＧＭ２と一緒に、元のグラフィックスおよびグラフィックス制御信号ＧＲＡＰＨ＿ＫＥＹを送り、信号送信チェーンの後段のステージにおいて、それらに基づき共有領域を決定するというものである。このような手順は、置換内容と追加グラフィックスの両カバレッジ比率を同時に１００％未満に設定することを可能にする。さらに、この手法では、カバレッジ比率を、受信ステージのみで決定することができる。問題点は、グラフィックス情報に必要なデータ伝送容量が恐らく高くなるという点である。] 図２

权利要求:

請求項1
テレビジョン画像（７）中の対象領域（１１）の内容を修正する方法であって、カメラ（１）を用いて元の画像信号（ＰＧＭ１）を生成するステップと、前記テレビジョン画像中にグラフィックス（９）を加えることにより、前記元の画像信号を処理するステップと、前記テレビジョン画像中の前記対象領域を決定するステップと、処理済みの画像信号（ＰＧＭ２）および前記対象領域の決定データをさらに送信するステップと、信号送信チェーンの後段のステージ（１４）において、前記対象領域の決定データに従って、置換内容（１５ａ，１５ｂ）を前記対象領域に挿入するステップとを備え、予め設定されたグラフィックスのカバレッジ比率に従って、前記グラフィックス（９）が前記テレビジョン画像（７）中に加えられるものであり、前記方法が、前記テレビジョン画像中の前記対象領域（１１）と追加的な前記グラフィックス（９）の領域との共有領域（１３）を決定するステップと、前記処理済みの画像信号（ＰＧＭ２）および前記対象領域の決定データとともに、前記共有領域の決定データおよび前記グラフィックスのカバレッジ比率に比例するデータをさらに送信するステップとをさらに備え、追加される前記グラフィックスにより覆われない残余のカバレッジ比率に従って、前記共有領域（１３）に前記置換内容（１５ａ，１５ｂ）が挿入されることを特徴とする方法。
請求項2
請求項１に記載の方法において、前記予め設定された前記グラフィックスのカバレッジ比率とは独立して、フルカバレッジで前記グラフィックス（９）が前記共有領域（１３）に加えられることを特徴とする方法。
請求項3
請求項１または２に記載の方法において、前記対象領域の決定データ、前記共有領域の決定データおよび前記グラフィックスのカバレッジ比率に比例するデータが、補助画像信号（ＡＵＸ２）により送信され、その画像内容がそれらデータに従って構成されることを特徴とする方法。
請求項4
請求項３に記載の方法において、必要なデータ伝送容量を低下させるために、前記補助画像信号（ＡＵＸ２）の前記画像領域が前記対象領域（１１）に制限され、前記テレビジョン画像（７）内の前記対象領域の位置に関する情報が、前記対象領域の選択点の画像座標として送信されることを特徴とする方法。